Rewrite blocking support at runtime & add clang pass by Kirillog · Pull Request #18 · ITMO-PTDC-Team/LTest

Kirillog · 2025-03-30T15:47:55Z

Add testing of Folly RWSpinlock, SharedMutex, FlatCombining
More precisely emulate futex queue (needed for folly SharedMutex & folly FlatCombining)
Add livelock avoiding to pct strategy
Get rid of Reset(), more fairly creating new TargetObj on a new round
Fix termination of the blocking tasks simple_mutex example does not work with pct strategy on master branch #12
Fix incorrect task creation in the pct strategy Incorrect tasks termination for blocking data structures (nonlinear_mutex example) on master branch #13
Add support of the several object replacement to the clang pass Add clang plugin for class usage replacing (::std::atomic<T> to LTestAtomic<T>) #14 & refactor this code
Get rid of legacy blocking API
Add atomic dfs to clang pass -- forbid CoroYield insertions in reachable atomic subgraph
Add deadlock detection on custom primitives

dmitrii-artuhov · 2025-03-30T16:13:32Z

 // Tell that the function need to be converted to the coroutine.
 #define non_atomic attr(ltest_nonatomic)
+// Tell that the function must not contain interleavings.
+#define ___atomic attr(ltest_atomic)


имена, начинающиеся с __ зарезервированы для нужд компиляторов (ссылка), объявлять свои макросы/переменные, начиная с __, - уб.

как на счет: ___atomic -> as_atomic/treat_as_atomic/consider_atomic?

dmitrii-artuhov · 2025-03-30T16:14:38Z

 bool CoroBase::IsReturned() const { return is_returned; }

 extern "C" void CoroYield() {
+  if (!__yield) [[unlikely]] {


лучше все места, где есть нелокальные переменные, начинающиеся с __, переименовать, чтобы нижних подчеркиваний в их начале не было

dmitrii-artuhov · 2025-03-30T16:16:26Z

+        add_executable(${target} __tmp_${source_name})
+        # apply clangpass to the ${source_name} file
+        add_custom_command(
+            OUTPUT ${CMAKE_CURRENT_SOURCE_DIR}/__tmp_${source_name}


Suggested change

OUTPUT ${CMAKE_CURRENT_SOURCE_DIR}/__tmp_${source_name}

OUTPUT ${CMAKE_CURRENT_SOURCE_DIR}/${CLANG_TOOL_TMP_PREFIX}${source_name}

dmitrii-artuhov · 2025-03-30T16:17:09Z

 function(verify_target target)
-    add_executable(${target} ${source_name})
+    if (APPLY_CLANG_TOOL)
+        add_executable(${target} __tmp_${source_name})


Suggested change

add_executable(${target} __tmp_${source_name})

add_executable(${target} ${CLANG_TOOL_TMP_PREFIX}${source_name})

dmitrii-artuhov · 2025-03-30T16:17:51Z

+            TARGET ${target}
+            POST_BUILD
+            COMMAND ${CMAKE_COMMAND} -E echo "Removing temporary file '${CMAKE_CURRENT_SOURCE_DIR}/${CLANG_TOOL_TMP_PREFIX}${source_name}' generated after building ${target}"
+            COMMAND ${CMAKE_COMMAND} -E remove ${CMAKE_CURRENT_SOURCE_DIR}/__tmp_${source_name}


Suggested change

COMMAND ${CMAKE_COMMAND} -E remove ${CMAKE_CURRENT_SOURCE_DIR}/__tmp_${source_name}

COMMAND ${CMAKE_COMMAND} -E remove ${CMAKE_CURRENT_SOURCE_DIR}/${CLANG_TOOL_TMP_PREFIX}${source_name}

что-то много где одно и то же встречается, можно переменную тут завести, чтобы покороче писать

dmitrii-artuhov · 2025-04-16T20:17:43Z

      for (size_t i = 0; i < tasks_in_thread; ++i) {
        if (!IsTaskRemoved(thread[i]->GetId())) {
-          thread[i] = thread[i]->Restart(&state);
+          thread[i] = thread[i]->Restart(&*state);


что за жесть)) почему не state.get()?)

extend switch point insertion fix hook & folly shared mutex try to setup CI to run folly tests refactor folly_rwspinlock add bank && custom blocking primitives format code speed up futex blocking && change release schema forbid CoroYield calls in inappropriate contexts fix CI add flatcombining queue use renaming action clang_pass: support simple names & several match types refactor enable CI fix livelock problem && get rid of legacy token API format code fix pct backoff strategy add ad-hoc termination order refactor verifying targets fix after rebasing onto minimization patch refactor clang pass rewrite totally blocking support at runtime fix livelock avoiding reformat code && enable testing fix formatting scripts && reformat code fix review comments add conditional variables testing add conditional variable primitive fix futex_queues.PopAll pct_strategy: run round robin for livelock avoding add deadlock detection refactor code refactor StrategyVerifier extend buffered channel test

lim123123123

Мне кажется, что стоит сделать один бинарь, который сразу запустит кланг плагин + рантайм
Что по итогу делаем со старым пассом?

lim123123123 · 2025-05-06T11:42:09Z

+RUN apt install -y libboost-filesystem-dev libboost-program-options-dev libboost-regex-dev \
+                    libdouble-conversion-dev libfast-float-dev libevent-dev libssl-dev libfmt-dev \
+                    libgoogle-glog-dev zlib1g-dev && \
+    git clone https://github.com/Kirillog/folly.git && \


Мы теперь каждый раз будем фолли клонить?

Кажется это чиниться или https://github.com/actions/cache или тем что мы зальем наш образ на условный docker hub и будем его клонить

Потенциально еще и каждый раз userver пропатченный будем клонить и собирать, вообще хорошо образ на докерхаб залить, я согласен, можно донести это после защит

Я хз насколько хорошо этот кэш работает, ему по идее нужно на ноде это кэшировать, те на всех раннерах
Докер не поможет особо, только какой-то базовый, тк основной кейс - дебаг нашего кода, те будут правки в рантайме и тд

lim123123123 · 2025-05-06T13:31:57Z

+    return EXIT_FAILURE;
+  }
+
+  // auto files = eOptParser->getSourcePathList();


lim123123123 · 2025-05-06T13:32:29Z

+  clang::tooling::RefactoringTool tool(options->getCompilations(),
+                                       options->getSourcePathList());
+
+  return tool.run(


Я правильно понимаю, что предполагается использовать это как два бинаря? Сначала прогоняешь этот, потом загоняешь это в runtime?

nonlinear_queue.cpp -> (clang pass) __tmp_nonlinear_queue.cpp -> (clang++ -fpass-plugin=yieldPass.so) ./nonlinear_queue, который затем уже запускается. Объединить компиляцию с llvm пассом и clang pass нельзя, особенность libTooling API.

Почему нельзя? Ну сделай main, который сделает proc.Exec("clang++ aboba") + запустит потом что нужно

В смысле предлагается сделать ltest_clang++, который сначала clang_pass запускает, а потом clang++ -fpass-plugin=yieldPass.so ... ? Честно говоря, clang_pass не настолько готов, чтобы его можно было свободно использовать как часть пайплайна clang-а, который потом будет компилировать большую библиотеку на 1000 таргетов наподобие userver или folly, я бы пока отдельным исполняемым файлом оставил.

Предлагается сделать на бинарь, который внутри просто будет вызывать кланг, в кланг это встраивать не нужно

lim123123123 · 2025-05-06T13:47:51Z

-      if (current_schedule_length == priority_change_points[i]) {
-        priorities[index_of_max] = current_depth - i;
+
+    if (round_robin_stage > 0) [[unlikely]] {


Мб это в Base вынести или хотя бы в функцию, чтобы не дублировать?

Можно вынести в функцию, которая будет зависеть от лямбды в качестве параметра (task_index), но это общая проблема копипасты в минимизации, ее надо комплексно решать

Ну давай просто тут вынесем хотя бы, я считаю, что проблему копипасты нужно решать по мере ее появления

lim123123123 · 2025-05-06T17:47:53Z

+  for (size_t i = 0; i < 1000 && !is_returned; ++i) {
+    Resume();
+  }
+}


Мб ассерт добавить в конец?

dmitrii-artuhov reviewed Mar 30, 2025

View reviewed changes

Kirillog force-pushed the clang_pass branch from a0d44eb to c41e26d Compare March 30, 2025 17:45

dmitrii-artuhov added a commit to dmitrii-artuhov/lincheck-cpp that referenced this pull request Apr 1, 2025

Take CI & Dockerfile from PR ITMO-PTDC-Team#18

fc03f76

dmitrii-artuhov mentioned this pull request Apr 9, 2025

Add clang plugin for class usage replacing (::std::atomic<T> to LTestAtomic<T>) #14

Draft

5 tasks

Kirillog force-pushed the clang_pass branch 3 times, most recently from 9f72bc5 to 7071ce0 Compare April 13, 2025 21:03

dmitrii-artuhov reviewed Apr 16, 2025

View reviewed changes

Kirillog force-pushed the clang_pass branch 6 times, most recently from 54b8236 to 4fd6690 Compare April 23, 2025 18:50

Kirillog force-pushed the clang_pass branch 5 times, most recently from e785f08 to 5f840a3 Compare May 5, 2025 21:54

Kirillog marked this pull request as ready for review May 5, 2025 21:54

Kirillog force-pushed the clang_pass branch from 5f840a3 to ae745ea Compare May 6, 2025 12:42

lim123123123 reviewed May 6, 2025

View reviewed changes

refactor code

2d8f2ef

Kirillog force-pushed the clang_pass branch from 1a15d7f to 2d8f2ef Compare May 16, 2025 00:59

make shared_mutex fair

fc150f5

Kirillog added 2 commits May 29, 2025 14:02

add nonlinear_buffered_channel

d929fe6

rise up timeout

76497e2

lim123123123 merged commit 15f64f0 into ITMO-PTDC-Team:master Jul 7, 2025
4 checks passed

	OUTPUT ${CMAKE_CURRENT_SOURCE_DIR}/__tmp_${source_name}
	OUTPUT ${CMAKE_CURRENT_SOURCE_DIR}/${CLANG_TOOL_TMP_PREFIX}${source_name}

	add_executable(${target} __tmp_${source_name})
	add_executable(${target} ${CLANG_TOOL_TMP_PREFIX}${source_name})

	COMMAND ${CMAKE_COMMAND} -E remove ${CMAKE_CURRENT_SOURCE_DIR}/__tmp_${source_name}
	COMMAND ${CMAKE_COMMAND} -E remove ${CMAKE_CURRENT_SOURCE_DIR}/${CLANG_TOOL_TMP_PREFIX}${source_name}

Conversation

Kirillog commented Mar 30, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

dmitrii-artuhov Mar 30, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

dmitrii-artuhov Mar 30, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

lim123123123 left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

lim123123123 May 7, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

Kirillog commented Mar 30, 2025 •

edited

Loading

dmitrii-artuhov Mar 30, 2025 •

edited

Loading

dmitrii-artuhov Mar 30, 2025 •

edited

Loading

lim123123123 May 7, 2025 •

edited

Loading